Abbiamo imparato a testare l’intelligenza artificiale facendole domande. Domanda corretta, risposta corretta. Domanda difficile, risposta più o meno corretta. Un modello viene confrontato con un altro e alla fine qualcuno costruisce una classifica. Potrebbe presto essere un sistema di valutazione insufficiente.
Una nuova Perspective pubblicata su npj Digital Medicine propone di cambiare completamente l’unità di misura utilizzata per valutare gli assistenti sanitari basati sull’AI: non più la singola risposta, ma l’intero patient journey.
La ragione è evidente. I primi chatbot erano sostanzialmente privi di memoria. Ogni conversazione ricominciava quasi da zero. Gli assistenti che stanno arrivando possono invece conservare informazioni, collegare conversazioni precedenti, utilizzare dati clinici, integrare parametri provenienti da wearable e costruire nel tempo una rappresentazione sempre più complessa della persona con cui interagiscono.
A quel punto un errore non muore con la risposta nella quale è stato generato. Può sopravvivere.
Un’informazione interpretata male oggi può diventare il presupposto della conversazione di domani. Un dato corretto successivamente potrebbe non aggiornare correttamente la memoria del sistema. Due fonti discordanti possono essere fuse senza rendere visibile il conflitto. Una supposizione può trasformarsi progressivamente in un fatto. È il problema della memoria artificiale applicato alla salute.
Gli autori propongono quindi test longitudinali capaci di verificare non soltanto se l’assistente risponde correttamente, ma se mantiene nel tempo il collegamento con la fonte originaria, se incorpora le correzioni, come gestisce informazioni mancanti o contraddittorie e soprattutto quando decide che il caso deve uscire dal perimetro dell’automazione ed essere affidato a un essere umano.
Per l’industria farmaceutica le implicazioni sono importanti. Patient support program, disease awareness, medical information e assistenti conversazionali vengono ancora frequentemente progettati come collezioni di interazioni. In realtà stanno diventando relazioni. E una relazione non può essere validata testando cento conversazioni isolate.
«La qualità di un assistente sanitario non si misurerà più soltanto sulla risposta che dà oggi, ma sulla capacità di ricordare correttamente ciò che è successo ieri e di non trasformare un errore di ieri nella premessa della risposta di domani», spiega Francesco Maria Avitto, Direttore Editoriale di Daily Health Industry.
È un punto che potrebbe cambiare anche il modo in cui misuriamo l’efficacia di questi strumenti. Accuracy, hallucination rate e risposta conforme alla source of truth continueranno a essere fondamentali. Ma dovranno essere accompagnati da metriche nuove: coerenza longitudinale, capacità di correggersi, accuratezza della memoria, appropriatezza dell’escalation.
Un assistente può infatti fornire venti risposte singolarmente corrette e costruire comunque un percorso complessivamente sbagliato. Esattamente come un medico potrebbe prescrivere venti esami appropriati e arrivare comunque a una conclusione errata se li interpreta all’interno della storia clinica sbagliata.
C’è poi un secondo aspetto che le aziende non dovrebbero sottovalutare. Più una relazione conversazionale dura nel tempo, maggiore diventa la quantità di informazione che il sistema accumula. E quindi maggiore diventa anche il problema di stabilire quali informazioni abbia realmente bisogno di conservare.
La personalizzazione assoluta non coincide necessariamente con il miglior servizio possibile. In alcuni casi la scelta più intelligente potrebbe essere dimenticare.
L’AI sanitaria sta passando dalla risposta alla relazione. Anche la governance dovrà fare lo stesso.
